tools/xend: Revert 21541:7ff0e885b5c3 "a few blktap2 fixes"

Following discussion on xen-devel.  This changeset is doubtful and in
any case incomplete.

tools/ocaml: libxl ocaml bindings

Signed-off-by: Vincent Hanquez <vincent.hanquez@eu.citrix.com>

update QEMU_TAG to 109ed219afc4be5cc5c22f912bb125d1fb102bb2

tools: init.d/xencommons: Wait for xenstored to start before setting dom0 name

On one of my boxes, the xenstore-write setting dom0's name starts
before xenstored is actually ready to handle the connection properly,
resulting in the name set failing.  Wait for xenstored to be up and
responding to reads before continuing, timing out after 30 seconds.

Signed-off-by: George Dunlap <george.dunlap@eu.citrix.com>

tools: init.d/xencommons: Make init script more verbose

Signed-off-by: George Dunlap <george.dunlap@eu.citrix.com>

tools/xend, xm: add a command to get the state of VMs

add a command "domstate" to get the state of Vms, which may have one state of
{'shutoff', 'idle','shutdown','running','crashed','paused' or 'paused by
admin"}.

For case of pause, I distinguish it into two conditions. One is "paused" the
other is "paused by admin".
"pasued by admin" means that users pause a domain voluntary by "xm paused
VM" or " API"

Signed-off-by James (Song Wei) <jsong@novell.com>

Merge

tools/ocaml: Add .NOTPARALLEL to Makefile

tools/ocaml was capable of descending into lib/* and xenstored/
simultaneously, obviously with poor results.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

libxl: Specify no nics to qemu when no emulated nics

qemu will default to one emulated NIC if no network configuration is
specified on the command-line.  If there are no emualted NICs (i.e.,
no NICs or all NICs are PV), specify no nics to avoid getting an
emulated NIC by default.

Signed-off-by: George Dunlap <george.dunlap@eu.citrix.com>

libxl: Pass bridge config info into xenstore

Signed-off-by: George Dunlap <george.dunlap@eu.citrix.com>

tools/libxc: Do not crash freeing logger on xc_interface_open error path

libxc could sometimes free the logger which xl created.
Thanks to report from Yang Hongyang <yanghy@cn.fujitsu.com>.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

tools/python: sxp parser: show empty string

This patch makes the sxp parser show empty string.

Test case:
 import sxp
 sxp.show(sxp.from_string('(a "")'))
 sxp.show(sxp.from_string("(a '')"))

Without this patch:
 (a )(a )
With this patch:
 (a '')(a '')

Signed-off-by: Zhigang Wang <zhigang.x.wang@oracle.com>

vtd: Only kill_timer() an init_timer()'ed timer.

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

xentrace: restrict trace buffer MFNs

Since they're being passed to Dom0 using an array of uint32_t, they
must be representable as 32-bit quantities, and hence the buffer
allocation must specify an upper address boundary.

Signed-off-by: Jan Beulich <jbeulich@novell.com>
Acked-by: George Dunlap <george.dunlap@eu.citrix.com>

Merge

x86 mtrr: use rdmsrl

Signed-off-by: Christoph Egger <Christoph.Egger@amd.com>

Merge

svm: use wrmsrl

Signed-off-by: Christoph Egger <Christoph.Egger@amd.com>

x86 paging_domctl: reinstates the breaks in the flow control (and
folds two identical cases together) and fixes the memory leak that was
causing a crash.

Signed-off-by: Tim Deegan <Tim.Deegan@citrix.com>

libxc: Fix ia64 build for interface change

This patch fixes ia64 by the following method:
- rename xc_handle xch
- rename guest_xc xch
- add xc_interface *xch to arguments of some functions
- replace xc_dom_printf with macros
- Add *xch argument to corresponding x86 functions [iwj]

Signed-off-by: KUWAMURA Shin'ya <kuwa@jp.fujitsu.com>
Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

xend: Fix up check "mac" address sooner change

In changeset 21653,
         dev_type = sxp.name(dev_config)
should not have been moved, otherwise, the checking "mac"
paragraph is of no use.

(The original patch as submitted was correct but I had to make the
change manually as it had been mangled.)

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>
Signed-off-by Chunyan Liu <CYLiu@novell.com>

x86 cpufreq: Fixes after msr cleanup patch

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

x86 cpu: use rdmsrl/wrmsrl

Signed-off-by: Christoph Egger <Christoph.Egger@amd.com>

x86 cpufreq: use rdmsrl/wrmsrl

Signed-off-by: Christoph Egger <Christoph.Egger@amd.com>

[IA64] counter part of 21407:e4028345ad48

Signed-off-by: KUWAMURA Shin'ya <kuwa@jp.fujitsu.com>

x86: use rdmsrl/wrmsrl

Signed-off-by: Christoph Egger <Christoph.Egger@amd.com>

mce: cleanup

Signed-off-by: Christoph Egger <Christoph.Egger@amd.com>

x86: Fix rdmsr_safe after c/s 21600.

From: Kathy Hadley <Kathy.Hadley@dornerworks.com>
Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

ocaml: remove bogus /dev/xen/ev[en]tchn

Oxenstored should not try to create the evtchn device, as it:

    * creates the wrong name (/dev/xen/eventchn rather than evtchn)
    * uses a hard-coded minor number, even though this dynamically
      depends on what other misc devices are in the kernel

Remove all this code and just rely on the system to create the device.

Signed-off-by: Jeremy Fitzhardinge <jeremy.fitzhardinge@citrix.com>

Merge

mce: k7 cleanup

Signed-off-by: Christoph Egger <Christoph.Egger@amd.com>

tmem: skip special case in alloc_heap_pages() if tmem holds no pages
Signed-off-by: Dan Magenheimer <dan.magenheimer@oracle.com>

libxl: support reset file on sysfs

Recent kernels have a reset file on sysfs per PCI device, to allow PCI
device reset from userspace.
This patch adds support to libxl for resetting PCI devices using the
reset file on sysfs, in case the do_flr file is not preset.

Signed-off-by: Stefano Stabellini <stefano.stabellini@eu.citrix.com>

libxl: make libxl_wait_for_device_model clearer

at the moment libxl_wait_for_device_model waits on a xenstore watch
before checking the current value of the xenstore node, that might
contain already the value the function was looking for.

This patch changes libxl_wait_for_device_model so that it checks the
value of the xenstore node first, then waits for the watch.

xenstore watch automatically fire one time when you install them for
this exact same purpose, so the previous code is not wrong, but this
version is clearer.

Signed-off-by: Stefano Stabellini <stefano.stabellini@eu.citrix.com>

prompt user to start xencommons first if it is not running.

Signed-off-by: Yu Zhiguo <yuzg@cn.fujitsu.com>

python/xc: [PATCH 3/3] add flask capabilities in python xc bindings

The flask library is small, and putting everything in libxenctrl make
relying on flask functionalities in libxl easier.

libflask is left for compatibility purpose, but should be considered
deprecated, and remove in the near future. all flask_ symbols are now
xc_flask_ symbols in libxenctrl.

Signed-off-by: Vincent Hanquez <vincent.hanquez@eu.citrix.com>

libxc: [PATCH 2/3] remove some duplicated code: helper add/del functions

Signed-off-by: Vincent Hanquez <vincent.hanquez@eu.citrix.com>

libxc: [PATCH 1/3] merge libflask into libxenctrl

The flask library is small, and putting everything in libxenctrl make
relying on flask functionalities in libxl easier.

libflask is left for compatibility purpose, but should be considered
deprecated, and remove in the near future. all flask_ symbols are now
xc_flask_ symbols in libxenctrl.

Signed-off-by: Vincent Hanquez <vincent.hanquez@eu.citrix.com>

init.d: Fix xencommons init script chkconfig configuration

Fix the xencommons init script chkconfig configuration since the
priority was missing here and chkconfig was complaining about invalid
chkconfig script so I added both start and stop priorities to the
chkconfig line and it was working fine, the script was successfully
added to chkconfig when using `chkconfig --add xencommons` and
management using the chkconfig utility was now possible.

Tested on RHEL-5 Server with Xen-4.1-unstable installed, running on
PVops kernel 2.6.32.15 and it was working fine.

Signed-off-by: Michal Novotny <minovotn@redhat.com>

Merge

Check "mac" address sooner in device_create function, before doing device_add.

In XendDomainInfo.py device_create function, when device type is
"vif", it has a paragraph to check the validity of "mac"
address. Before checking validity, device_add has been done. But after
checking validity, if the mac address is invlid, it raises VmError and
exits directly without doing clean work like removing the device item
from config info. This will cause that the incorrect mac address is
saved into VM Config file and VM fails to restart. If check "mac"
validity before doing device_add, there will be no problem.

Signed-off-by Chunyan Liu <CYLiu@novell.com>

this patch implements few missing options in xl so that it can be
used as a replacement of xm in xendomains:

- dryrun and quiet, long options to xl create;

- l, option to xl list.

printf_info is now used to print the configuration of the running VMs so
the output has been reformatted to be similar to the output of xm list -l.

There is still one command used in xendomains that is not implemented in
xl and not covered by this patch: xm shutdown. However a patch has been
sent to the list in the past and we are expecting a new version of it
soon.

Signed-off-by: Stefano Stabellini <stefano.stabellini@eu.citrix.com>

this patch adds support for xl in xendomains: if `xm list` fails all the
following commands are issued using xl instead.

Signed-off-by: Stefano Stabellini <stefano.stabellini@eu.citrix.com>

python/xc: do not crash xend if /proc/xen/privcmd cannot be opened

If /proc/xen/privcmd cannot be opened,
start xend occurs Segmentation fault.
Add check to fix it.

Signed-off-by: Yu Zhiguo <yuzg@cn.fujitsu.com>

If xenfs is compiled as a module, now cannot complete
'service xencommons start', mount xenfs directly can fix it,
it can trigger modprobe xenfs.

Signed-off-by: Yu Zhiguo <yuzg@cn.fujitsu.com>

perfc: Fix x86_64 build with perfc_arrays=y

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

x86 shadow: Fix x86_32 build.

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

Enable tmem functionality for PV on HVM guests.  Guest kernel
must still be tmem-enabled to use this functionality (e.g.
won't work for Windows), but upstream Linux tmem (aka
cleancache and frontswap) patches apply cleanly on top
of PV on HVM patches.

Also, fix up some ASSERTS and code used only when bad guest
mfns are passed to tmem.  Previous code could crash Xen
if a buggy/malicious guest passes bad gmfns.

Signed-off-by: Dan Magenheimer <dan.magenheimer@oracle.com>

x86 hvm: implement HVMOP_pagetable_dying

This patch implements HVMOP_pagetable_dying: an hypercall for
guests to notify Xen that a pagetable is about to be destroyed so that
Xen can use it as a hint to unshadow the pagetable soon and unhook the
top-level user-mode shadow entries right away.

Gianluca Guida is the original author of this patch.

Signed-off-by: Gianluca Guida <glguida@gmail.com>
Signed-off-by: Stefano Stabellini <stefano.stabellini@eu.citrix.com>

Revert 21641:2e5844e17d6f "xencommons: modprobe xenfs if it not be loaded"

Nacked by Jeremy Fitzhardinge and Ian Jackson.

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

Revert 21640:05e127771b86 "libxc: Fix Segmentation fault of xend"

Nacked-by: Ian Jackson <ian.jackson@eu.citrix.com>
Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

xl: fix command truncation

Fix the truncation code so that it always accepts an exact match,
even when one command is a prefix of another one.   This fixes,
e.g., "xl list"

Signed-off-by: Tim Deegan <Tim.Deegan@citrix.com>

vmx: Fix bug in VMX VPMU fixed function PMC offset

This is a minor fix to the calculation of bit-width of fixed function
perfmon counters in Intel processors.  Bits 5-12 of edx register
should be calculated as (edx & 0x1fe0) >>5 instead of using 0x1f70.

From: "John, Jaiber J" <jaiber.j.john@intel.com>
Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

xend: fix "xm list hangs"

If a command hold domains_lock, "xm list" would hang for waiting for
the lock. Such as creating many VMs at a script (such as 20), command
of "xm list" could hang for long time(10 mins).  I think domains_lock
here only protect update().  So, we shouldn't do update before command
of "list" really get this lock, but xm do need show the domain's
information quickly. In this patch, if command couldn't get the
domains_lock after 20 times trying, "xm list" would show the
information of VMs without update().

Signed-off-by: James Song (Wei) <jsong@novell.com>

xencommons: modprobe xenfs if it not be loaded

If xenfs is compiled as a module, now cannot complete
'service xencommons start', modprobe xenfs can fix it.

Signed-off-by: Yu Zhiguo <yuzg@cn.fujitsu.com>

libxc: Fix Segmentation fault of xend

If /proc/xen/privcmd cannot be opened,
start xend occurs Segmentation fault.
Add check to fix it.

Signed-off-by: Yu Zhiguo <yuzg@cn.fujitsu.com>

cpuidle: add comments for hpet cpumask_lock usage

Signed-off-by: Wei Gang <gang.wei@intel.com>

xl: tidy up around global '-v' option

Signed-off-by: Tim Deegan <Tim.Deegan@citrix.com>

xl: allow truncation of xl subcommands
for those of us who are used to typing "xm cr foo"

Signed-off-by: Tim Deegan <Tim.Deegan@citrix.com>

ia64: Fix xc_save error reporting

This is the patch for error reporting on ia64 that has a special
handling in comparison with i386/x86_64 platforms. This is pretty
straight-forward just to fail on "cannot map mfn page" message instead
of continue since the memory is not being correctly mapped using the
xc_map_foreign_range() function.

From: Michal Novotny <minovotn@redhat.com>
Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

libxl: give reasons for ctx init failures

Signed-off-by: Tim Deegan <Tim.Deegan@citrix.com>

Makefile: Separate misc dist things from dist target

Separate the miscellaneous actions the dist: target does into its own
target so you can run them independently.

Signed-off-by: Jeremy Fitzhardinge <jeremy.fitzhardinge@citrix.com>

Switch default Linux kernel build to 2.6.32

Signed-off-by: Jeremy Fitzhardinge <jeremy.fitzhardinge@citrix.com>

cpuidle: redefine cpumask_lock as rwlock_t

Multiple cpus clear hpet channel cpumask simultaneously is ok. So we
can change the cpumask_lock to rwlock_t.

Signed-off-by: Wei Gang <gang.wei@intel.com>

cpuidle: redirect some hpet lock users to a new cpumask_lock

The hpet channel lock was also used for prevent handle_hpet_broadcast
access other cpu's timer_deadline_start/end after other cpu was
already waken up.
This purpose can be approached via a standalone lock to remove much
spins on the hpet channel lock.

Signed-off-by: Wei Gang <gang.wei@intel.com>

cpuidle: remove hpet access in hpet_broadcast_exit

hpet_broadcast_exit calls reprogram_hpet to stop possible hpet intr if
the last deep-cstate waken up cpu is waken by unexpected intrs instead
of hpet broadcast handler. This can be removed without brings much
useless intrs, but bring chance for further optimization. It is a
tradeoff between grace & optimization.

BTW, move the cpumask set out of critial section in
hpet_broadcast_enter to shorten it.

Signed-off-by: Wei Gang <gang.wei@intel.com>

cpuidle: use stime to count c-state residency in NONSTOP_TSC case

stime is based on tsc, with far less access cost than PM timer. So for
processors w/ NONSTOP_TSC, using stime instead of PM timer. This could
reduce idle overheads and save power.

Signed-off-by: Wei Gang <gang.wei@intel.com>

cpuidle: reduce redundant cost in cstate_restore_tsc for nonstop tsc

Signed-off-by: Wei Gang <gang.wei@intel.com>

cpuidle: fix wrapped ticks calculation for pm timer.

Signed-off-by: Wei Gang <gang.wei@intel.com>

Fix sched_adjust_global() and clean up surrounding code.

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

x86: IRQ affinity should track vCPU affinity

With IRQs getting bound to the CPU the binding vCPU currently runs on
there can result quite a bit of extra cross CPU traffic as soon as
that vCPU moves to a different pCPU. Likewise, when a domain re-binds
an event channel associated with a pIRQ, that IRQ's affinity should
also be adjusted.

The open issue is how to break ties for interrupts shared by multiple
domains - currently, the last request (at any point in time) is being
honored.

Signed-off-by: Jan Beulich <jbeulich@novell.com>

python/xc: fix out of bounds array access

Writing a NUL terminator here isn't even necessary, since snprintf()
already guarantees proper termination.

Signed-off-by: Jan Beulich <jbeulich@novell.com>

ia64: fix build

Signed-off-by: Jan Beulich <jbeulich@novell.com>

x86: fix guest wrmsr warning format

During the recent MSR handling cleanup, the '0' format modifier got
lost.

Signed-off-by: Jan Beulich <jbeulich@novell.com>

x86/mce: assorted fixes

- correct various range checks (avoids bogus warnings on domains
  modifying virtualized MSRs)
- correct consistency check (so that APs get checked instead of the
  BP [against uninitialized data])
- reduce verbosity (capabilities printed only once, but then all of
  the relevant values)

Signed-off-by: Jan Beulich <jbeulich@novell.com>

x86: return value of domain_pirq_to_irq() is signed

That value can, for forcibly unbound PIRQs, validly be negative, and
for the respective check to catch those cases (and prevent using these
negative values as array index), the respective variables must be of
signed type.

Signed-off-by: Jan Beulich <jbeulich@novell.com>

x86: put_superpage() must also work for !opt_allow_superpage

This is because the P2M table, when placed at a kernel specified
location, gets populated with large pages, which the domain must have
a way to unmap/recycle.

Additionally when allowing Dom0 to use superpages, they ought to be
tracked accordingly in the superpage frame table.

Signed-off-by: Jan Beulich <jbeulich@novell.com>

Allow LZO compressed bzImage to be used as DomU kernel

... since recently Linux added this as another kernel compression
method.

Signed-off-by: Jan Beulich <jbeulich@novell.com>

x86: allow LZO compressed bzImage to be used as Dom0 kernel

... since recently Linux added this as another kernel compression
method, and we already have LZO compression in the tree (from tmem),
so that only glue logic is needed.

Signed-off-by: Jan Beulich <jbeulich@novell.com>

x86: fix pv cpuid masking

Invert initial values of the variables parsed into from the command
line, so that completely clearing out one or more of the four bit
fields is possible.

Further, consolidate the command line parameter specifications into
a single place.

Finally, as per "Intel Virtualization Technology FlexMigration
Application Note" (http://www.intel.com/Assets/PDF/manual/323850.pdf),
also handle family 6 model 0x1f.

What remains open is the question whether pv_cpuid() shouldn't also
consume these masks.

Signed-off-by: Jan Beulich <jbeulich@novell.com>

Don't save Xen heap pages during domain save

As discussed in the thread starting at
http://lists.xensource.com/archives/html/xen-devel/2010-05/msg01383.html,
don't save Xen heap pages in order to avoid overallocation when the
domain gets restored, as those pages would get (temporarily) backed
with normal RAM pages by the restore code.

This requires making DOMCTL_getpageframeinfo{2,3} usable for HVM
guests, meaning that the input to these must be treated as GMFNs.

Signed-off-by: Jan Beulich <jbeulich@novell.com>

xl: fix restore_common return value

restore_common function should return error when failed.

Signed-off-by: Yang Hongyang <yanghy@cn.fujitsu.com>

buildconfig: Set CONFIG_TUN=y in Linux kernel config

This is needed by the pv_ops kernel in order to support HVM guests
with emulated VIFs

Signed-off-by: Alex Zeffertt <alex.zeffertt@eu.citrix.com>

buildconfig: Fix setopt in case where option is already set but to the wrong value

Signed-off-by: Alex Zeffertt <alex.zeffertt@eu.citrix.com>

xend: Do not mess with bridge if admin has set one up already

Previously, the default "network-script",
/etc/xen/scripts/network-bridge, would attempt to do its horrid work
even if you had already set everything up in /etc/network/interfaces.

Setting up your bridge in /etc/network/interfaces is:
 * easy
 * required for libxl since libxl never does it for you
 * not a fragile piece of lunacy
 * properly documented
 * the way everyone would expect it to work

In this small patch we make it so that the default config for xend
doesn't mess about on startup if you already have a bridge, and
doesn't mess about on shutdown unless your first-named bridge (eth0 or
xenbr0, normally) doesn't also have a physical interface named
p<whatever> (peth0 or pxenbr0) enslaved to it.  The latter test is not
ideal but will hopefully do from now until the time xend finally dies.

We also fix the "documentation" - ie, the comments in the default
xend-config.sxp - to correspond to reality.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

x86 hap: clean up the definition of hap_enabled().

Actually when hvm_domain.hap_enabled is true, it is already a hvm
domain.

Signed-off-by: Xin Li <xin.li@intel.com>

mce: Enhance the vmce injection check logic

Currently we will not inject vMCE if guest has different mca control
register setup.

This is not enough, we need consider more. If guest has different
family/model, we should not inject guest, because the MCA error code
include model specific information. If guest has not enabled MCE
(i.e. CR4.X86_CR4_MCE is clear), we should not inject vMCE.

One thing need notice. In the memory error handler, we didn't kill the
guest if vMCE is not ready, instead, we will simply ignore the
vMCE. In native, system will reboot if MCE in CR4 is not enabled. We
need contain guest access to the broken memory through eithe software
or hardware method.

Signed-off-by: Jiang, Yunhong <yunhong.jiang@intel.com>

x86: Do not include apic.h/io_apic.h from asm/smp.h

...and fix up the ensuing fall-out of implicit dependencies

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

x86 amd: Fix after MSR cleanup

Signed-off-by: Christoph Egger <Christoph.Egger@amd.com>

mce: clean up msr handling

Signed-off-by: Christoph Egger <Christoph.Egger@amd.com>

x86: Clean up efer/ler macros after MSR changes.

Move them out of a header file and make the macros proper functions again.

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

apic: clean up msr handling

Signed-off-by: Christoph Egger <Christoph.Egger@amd.com>

mtrr msr-handling cleanup

Signed-off-by: Christoph Egger <Christoph.Egger@amd.com>

svm: use msr safe for erratum 383

Make erratum 383 use msr safe variants to work on top of KVM.

Signed-off-by: Christoph Egger <Christoph.Egger@amd.com>

libxl: blktap2 fix

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

xen: msr safe cleanup

Signed-off-by: Christoph Egger <Christoph.Egger@amd.com>

libxl: Fix blktap2 for xl cset 21586:c3c2bcafe471

Avoids a double free on automatic memory.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

VMX: enforce INVVPID checking

Escalate to use a wider context invalidation if the requested context
invalidation is not supported.

Signed-off-by: Xin Li <xin.li@intel.com>

grant iommu: Correctly handle multiple mappings of same MFN.

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

tmem: Fix domain lifecycle synchronisation.

Obtaining a domain reference count is neither necessary nor
sufficient. Instead we simply check whether a domain is already dying
when it first becomes a client of tmem. If it is not then we will
correctly clean up later via tmem_destroy() called from domain_kill().

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>